基于Spark框架的大数据K-prototypes聚类算法

大数据具有数据量大及混合类型的属性,基于MapReduce的K-prototypes并行大规模混合数据方案的缺点是时间和内存的限制,导致这些方案不适合处理大数据.为了解决这个问题,该文提出一种新的基于Spark的k-prototypes聚类方法,该方法使用了重新聚集技术,利用Spark框架的内存操作来构建大规模混合数据分组.在模拟和实际数据集上的实验表明,该文方法可行,且提高了现有K-prototypes方法的效率.     

基于互联网+数据挖掘的农业数据平台设计

随着农业数据规模日益增加,相应的、有针对性的数据挖掘平台设计成为迫切需要.该文设计了基于互联网+数据挖掘的农业数据平台,包括交互层、功能层、数据层3个层次.功能层是平台的核心,负责数据预处理、数据挖掘、挖掘结果展示等任务.针对Apriori算法进行了改进,通过频度集合、支持度集合、地址集合的联合使用,避免了重复扫描和频度冗余,进一步提升了挖掘算法的效率.以水稻生长中的二化螟虫害问题为研究对象,展开平台性能的验证性实验.实验结果表明:4种因素对二化螟爆发影响的强弱顺序为5月份降水最大,其次是5月份的温度,再次是2月份的温度,最后是2月份的降水.     

智能交通系统主要技术的发展

 以城市智能交通和智能交通新技术两个角度为重点,盘点了智能交通发展现状,分析了关键技术及其发展状态;探讨了交通大数据平台及其应用、视频技术、分析研判技术、交通控制技术、车路协同技术、城市交通大脑、无感技术等关键技术的未来发展;结合交通强国战略要求,提出了未来智能交通发展的重点方向与建议。     

国家科研竞争力评价——以OECD国家基础医学领域为例

 以经济合作与发展组织（OECD）国家为研究对象,采用一种基于数据包络分析方法的混合定权方法测算各国基础医学领域的科研竞争力指数,并对不同国家的竞争力指数和排名进行了分析。结果表明,美国、英国、德国、日本、法国是28个OECD国家中基础医学领域科研竞争力最强的5个国家。此外,除芬兰、希腊、新西兰和葡萄牙的科研竞争力指数变动较大外,其余各国变动不大。从区域上看,北美洲、北欧和西欧3个区域的平均科研竞争力指数处于前列,南欧和中欧区域处于劣势位置。因此从促进区域科研事业的快速和平衡发展角度看,国家间应当加强科研合作,取长补短,竞争力弱的国家应减小与竞争力强国间的差距。     

附加法向信息的三维网格预测编码

为提升三维网格的压缩性能,提出了一种网格法向与几何帧内-帧间预测编码方法.该方法充分利用法向数据内部分量间（帧内）及几何与法向数据间（帧间）的相关性,实现附加法向信息的三维网格压缩,有效保持解码后三维网格的几何特性.实验结果表明,提出的预测编码方法相比分别压缩三维网格法向与几何数据,能够显著提高附加法向信息三维网格的压缩效率.      

基于DEA-BCC模型的江苏省属高校人才发展效率研究

基于2017年江苏省高水平大学建设全国百强省属高校申报公示材料,收集了17所省属大学各项师资建设指标和学校人才培养等综合指标,建立了高层次人才、科学技术奖等含25个指标的评价体系并建立数据包络分析(DEA)的BCC模型。结果表明:南京师范大学等13所高校的人才投入-产出规模DEA有效,而南京艺术学院与江苏大学的人才发展规模非DEA有效。对比15所高校的人才发展规模综合效率排名与2017年武书连师资力量和综合实力排名,提出具有针对性与建设性的建议。     

结合遗忘特性的多任务多核在线学习算法

对于数据流的处理,多任务多核学习已逐渐成为在线学习算法研究的热点,它在一定程度上可提高数据流预测的准确性。多核方法尽可能使用最少的核函数得到最好的实验效果,当数据量增大、训练模型稳定时,通过阈值限定的方法对核函数进行遗忘,从而减少基本核函数的使用个数,使得计算更加简单;对于算法的优化,通过引入一个遗忘变量,从对偶的角度来进一步优化权重更新过程,这里的权重指多个任务的共有特征权重和每个任务间的特有权重,以提高算法的收敛速度。实验部分对核函数的选取进行了较为详细的分析,通过对UCI数据集和实际的机场客流量数据集进行分析,证明该本算法的合理性和高效性。     

基于移动信令数据的城市热点识别方法

城市热点的识别对于探索解决引导性的人群疏散、规避交通拥堵等问题提供新途径,并为基于位置服务(location based services,LBS)如商铺选址、旅游导航等提供重要的科学参考,具有重要的应用价值。随着个人手机终端的普及与发展,手机已经成为研究用户行为特征的一种理想的探测器。提出了将手机信令数据融合兴趣点(point of interest,POI)数据来挖掘城市的热点区域并进行功能类型标定,重点通过手机信令数据研究人流的出行行为和在蜂窝的驻留时长情况来识别活跃蜂窝,并进一步通过基于密度的聚类算法判别热点区域。选取了重庆市较场口一定范围区域作为研究区域,数据来源于重庆某移动运营商提供的用户手机信令数据,通过实验实例验证分析,证明了该方法可快速识别出城市热点区域,并具有较高的准确性。     

基于粗糙集的分布式集值数据属性约简

有许多文献针对集中式集值决策信息系统进行了研究,但还没有针对分布式集值决策信息系统方面的研究。主要讨论了分布式环境下集值决策信息系统的属性约简问题。从概率角度给出了集值对象的相似性度量,定义了分布式集值决策信息系统中的粗糙集模型;以保持系统正域不变为准则,分析了分布式集值决策信息系统中子决策表和属性的可约性;随后,给出了分布式集值决策信息系统中属性对于系统可约的2个判定条件,并采用后向搜索策略提出了相应的属性约简算法;为了验证该方法的有效性,在5份数据集上进行了50组实验。实验结果表明,提出的方法可以在保持分布式集值决策信息系统分类能力基本不变的情况下约简掉冗余的属性。。     

基于区域时变聚类采样机制的物联网 大数据传输算法

为解决传统物联网大数据传输算法存在的网络链路抖动频繁、传输能力受限以及传输误码率大的不足,提出了一种基于区域时变聚类采样机制的物联网大数据传输算法。首先,根据物联网信号发射中常用的LTE-5G信号特性,采取分信道传输及抽样过滤技术来实现数据传输过程中的正交化,消除节点间因信号频率相似而导致的干涉现象,提高网络数据传输效率;随后,几何聚类机制与能量-阈值映射裁决方法,构建了稳定聚类采样方法,利用功率最佳及能量最佳的方式来实现传输节点的筛选,强化传输链路的稳定性能,降低因链路抖动而导致误码的风险。仿真实验结果表明:与常见的超高斯频率漂移传输提升机制(Transmission Mechanism of Super Gauss Frequency Drift Transmission, SGFD-T机制)及拉普拉斯信道滤波传输机制Laplasse Channel Filtering Transmission Mechanism,LCF-T机制)相比,所提算法具有更大的上传带宽和更低的数据采集错误率与误码率。